Viện Vật lý Kỹ thuật được thành lập ngày 23/01/1985 theo Nghị định số 13/HĐBT của Hội đồng Bộ trưởng, nay là Chính phủ trên cơ sở ba Bộ môn Vật lý Đại cương, Vật lý Chất rắn và Vật lý Hạt nhân của Khoa Toán- Lý thuộc ĐH Bách khoa Hà nội. Viện Vật lý kỹ thuật là Viện trong trường ĐH đầu tiên trong toàn quốc được thành lập nhằm thí điểm một mô hình tổ chức có khả năng kết hợp nghiên cứu khoa học, đào tạo và chuyển giao công nghệ phục vụ kinh tế và quốc phòng.

Tiền thân của Viện Vật lý Kỹ thuật là Bộ môn Vật lý, một trong những Bộ môn đầu tiên của trường có nhiều đóng góp trong công tác đào tạo, nghiên cứu khoa học và xây dựng Trường ĐH Bách khoa Hà Nội.

Do nhu cầu phát triển, Bộ môn Kỹ thuật hạt nhân và Vật lý môi trường đã tách ra khỏi Viện từ tháng 6 năm 2008 và trở thành Viện Kỹ thuật hạt nhân và Vật lý môi trường trực thuộc Trường ĐH Bách khoa Hà Nội.

Ngày 23 tháng 10 năm 2018, Trường ĐHBK Hà nội đã có Quyết định sáp nhập lại Viện Kỹ thuật hạt nhân và Vật lý môi trường vào Viện Vật lý kỹ thuật, trở thành một đơn vị - Bộ môn Kỹ thuật hạt nhân và Vật lý môi trường.

Tổ chức của Viện hiện nay bao gồm 1 Văn phòng, 6 Bộ môn (Vật lý đại cương, Vật lý lý thuyết, Vật liệu điện tử, Vật lý tin học, Quang học và quang điện tử, Kỹ thuật hạt nhân và Vật lý môi trường) và Trung tâm nghiên cứu và phát triển công nghệ chiếu sáng bằng LED.